Add an OstreeSysrootUpgrader API

This moves some utility code from the ostree tool into the shared
library, which will make it easier to consume by external tools.

Move basic commit API into ostree_sysroot_simple_write_deployment()

The admin commands had this shared in tool common, but we want to
encourage external programs to do this as well.

Add missing admin commands in the man pages

improve consistency with others admin commands

Fix typo in man page ( envrionment => environment )

Release 2014.3

pull: Don't print, just use progress callback

More work on removing g_print() from the library.

pull: End status line on error as well

This way we don't append the error to the current line.

core: Add "admin instutil set-kargs"

This will be used by Anaconda as a convenience command to set the
bootloader arguments.

libostree: Add ostree_sysroot_deployment_set_kargs()

It turns out people sometimes want to be able to change the kernel
arguments.  Add a convenient API to do so for the current deployment.

This will be used by Anaconda.

libostree: Fix ostree_deployment_clone() to also clone bootconfig

This way one can easily mutate it for a new deployment list.

libostree: Add ostree_bootconfig_parser_clone()

This will be necessary to fix ostree_deployment_clone(), but is
potentially useful on its own for other consumers.

Add "ostree admin instutil", move selinux-ensure-labeled there

There are going to be a few utilities that are only useful for
installers and disk image creation tools.  Let's not expose them all
at the toplevel; instead, hide them under "instutil".

test-sysroot: Use GSystem to spawn subprocess

I was getting a weird hang in the installed tests with the shell as a
zombie process, not reaped by the parent, which was just stuck in
select() on the output pipes.  The thing is we don't actually want to
capture stdout/stderr, we just want to inherit.

GSystem.Subprocess makes that possible, so let's just use it now that
it's a proper installed library.

Revert "Disable test-sysroot.test"

This reverts commit 73868a96d14fa13e69d9df778d2363b89f41fef5.

Disable test-sysroot.test

It hangs on test-sysroot.js:40 during GLib.spawn_command_line_sync - it seems it can't
handle sh -c and the inner process becomes a zombie

TODO: update

Remove custom SELinux policy

This was a temporary hack until the requisite bits landed upstream in
the Fedora SELinux policy.

libostree: Fix crash if output is not a tty

This was a recent regression.

libostree: Add API to append a GPG signature

This will be used by rpm-ostree which needs to use an external program
to sign commits.

libostree: Add a better error if we fail to read keyring directory

I had accidentally put it in the -devel package and not noticed.

admin: selinux-ensure-labeled: new builtin

Code like rpm-ostree generates disk images directly.  In order to
ensure SELinux labeling is correct, it currently has a helper program
that runs over the deployment root, then over the whole disk and to
only set a label if none exist.

In order to make it easier to write installers such as Anaconda
without having them depend on rpm-ostree (or whatever other
build-server side program), pull in the helper code here.

deploy: Less usage of g_print

No need to spam the console here.

libostree: Remove g_print() from bootloader code

No need to be so chatty.

pull: Drop some g_print(), replace others with async progress

We shouldn't g_print() from a library, particularly when the
expectation is that the client has an async progress set up.

This should fix the pull output extending the status line.

pull: Ensure temporary data that appears corrupted is deleted

If a MITM attacker (or just network corruption) causes a temporary
downloaded object in tmp/ to be corrupted, we'll end up
continually trying to commit it, and fail.

Fix this unlinking the temp file immediately after opening it.  This
will ensure that if we exit due to an error (or crash), the kernel
will clean up the space for us.

https://bugzilla.gnome.org/show_bug.cgi?id=725924

packaging: Update internal spec file

build: Add --enable-selinux-custom-policy

Don't use this.

It's just for me, and only temporarily until this stuff all lands in
the Fedora (and ideally upstream) selinux-policy.

Release 2014.2

Add /run/ostree-booted

The idea with this is that things like yum should be able to look for
it and determine whether or not they should assume that they can
change things on the system.

https://bugzilla.gnome.org/show_bug.cgi?id=725380

upgrade/switch: Fix status line being overwritten with pull progress

checkout: Use fd-relative open of newly created directory

We were walking the full path again on our directories, no need to do
that.

checkout: Only fchown/fchmod directories after we're done populating them

See https://mail.gnome.org/archives/ostree-list/2014-February/msg00020.html

Update libgsystem, use it to set dirfd-relative xattrs on symlinks

This is a bit more efficient in that we're not walking full paths, and
it helps avoid security/reliability issues if an attacker (or just a
misbehaving process) has the ability to mutate paths in the middle.

upgrade: Properly set origin_refspec variable for resolve/printing

1) We were ignoring the remote, which is broken
2) We were printing NULL later on

switch: Don't check whether revision matches

It's quite possible that say "buildmaster" and "smoketested" are the
same revision - but we should allow switching between them.

pull: Remove explicit threading

Mixing async and threads has proved to be too much for my little mind.
It has race conditions that I've tried repeatedly to fix, but failed.

The threading here was scanning metadata objects - and there are
two parts to that:

1) Physically loading them from disk
2) Parsing them

Now #1 has been partially addressed by avoiding a storm of lstat() if
we're starting from a known working state.  If pull gets interrupted,
then we do need to rescan all objects.  Also, we can address this with
local metadata packfiles.

The other potentially slow bit is that we recurse across the metadata,
blocking the main thread.  We could ameliorate that in the future by
scheduling metadata parsing as idle "chunks".

Anyways, let's move the needle back to reliability, and readd speed
more carefully.

https://bugzilla.gnome.org/show_bug.cgi?id=706456

upgrade: Refuse chronologically older commits unless --allow-downgrade

We don't want to allow MITM attackers to intercept upgrade requests
and provide clients with older OS versions vulnerable to security
flaws.

Only "ostree admin upgrade" gets this behavior for now - whether we
want to do it for "ostree admin switch" is another question.

repo: Fix crash without SELinux policy enabled during commit

build: Fix build without SELinux

libostree: Split off SELinux OstreeSePolicy class

It's better if this is independent from the OstreeSysroot; for
example, a policy is active in a given deployment root at once, not
for a sysroot globally.

We can also collect SELinux-related API in one place.

Unfortunately at the moment there can be only one instance of this
class per process.

Add internal SELinux policy overrides

In the future, this will likely include an ostree_t domain.  For now,
this is just a few additional allow rules.

manual-tests: New directory with custom test scripts

This is just a demo script.

fetcher: set timeouts on HTTP connections

We're seeing some hangs while ostree is fetching updates.
I imagine the fact that SoupSessionAsync has no timeout by default
could be the cause of this.

Set timeout values to 60 seconds, which is the default for the new
SoupSession API which we may switch to later.

https://bugzilla.gnome.org/show_bug.cgi?id=724310

build: make "sudo make install" over existing install work

os-init: also create a symlink for /var/lock

After creating one for /var/run. This is needed at least on Debian
systems.

deploy: Remove now-unimplemented --no-bootloader argument

boot/ostree-remount.service: run before tmpfiles.d

tmpfiles.d configurations generally require write access to some places
that are read-only until ostree-remount runs.

Make sure ostree-remount has run first.

Thanks to Cosimo Cecchi for finding and diagnosing this problem.

https://bugzilla.gnome.org/show_bug.cgi?id=724183

repo: Split generic GPG commit verification out into helper

This will be used for a future commit which GPG verifies static
deltas.

deltas: Add a timestamp to delta metadata

pull: Remove a duplicate hash table

Not sure why we had two...perhaps the code originally had them
separate.

tests: Fix up GPG tests for more strict EL7 GPG

These GPG tests were failing for me on EL7 - it appears to be because
we had only one directory for both private and public keys, and we
were giving that to ostree for verification, which passed them onto
gpgv.

In EL7 beta at least, gpgv now barfs if it finds a private key where
it is just expecting to find public keys.

Fix this by splitting out the public trusted directory from the
private key directory.  Except now for signing, we still need the
public key there, so symlink it.  Whee!

repo: Don't set GPG engine executable path

The instructions one finds on the internets are apparently wrong, we
really need to keep the default here, since gpgme uses it to actually
find the helper binary it runs.

This fixes the GPG tests for me on EL7 at least.

Drop refs/summary

I'm not aware of anyone using this, and it's not efficient to write a
whole file every time a ref changes, plus it's not atomic.

sysroot: Add a log with MESSAGE_ID when deployment is complete

pull: Don't crash if the URL is not found

Initial basic static delta code drop

This has a very basic level of functionality (deltas can be generated,
and applied offline).  There is only some stubbed out pull code to
fetch them via HTTP.

But, better to commit this now and improve it from a known starting
point, rather than have it languish in a branch.

core: Import bup's "rollsum" code, add a test case

For static deltas, one strategy that will be employed is to split each
object into chunks, and only include changed chunks in the deltas.

build: Drop SELinux required version a bit earlier

Apparently EPEL7 only has 2.1.13, but we should be fine with that.

build: Fix --without-selinux case

SELinux: Ensure we label /var, and fix /etc merge wrt xattrs

First, /var needs to be labeled at least once.  We should probably
rearrange things so that /var is only created (and labeled) on the
first deployment, but this patch adds a /var/.ostree-selabeled file
instead.

Second, when doing the /etc merge, we compare the xattrs of the old
/usr/etc versus the current /etc.  The problem with that is that the
policy has different labels for /usr/etc on disk than the real /etc.

The correct fix for this is a bit invasive - we have to take the
physical content of the old /usr/etc, but compare the labels as if
they were really in /etc.

Instead for now, just ignore changes to xattrs.  If the file
content/mode changes, then we take the new file (including any changed
xattrs).

Bottom line: just doing chcon -t blah_t /etc/foo.conf may be lost on
upgrade (for now).

libostree: Also use xattr callback for directories

They need labels too, obviously.

Add --disable-fsync option to pull-local, and API to repo

This will be used by guestmount - it's WAY faster.  We only take disks
as a unit, so it's safe.  If the process fails halfway through, we
just start over from scratch the next time anyways.

Add SELinux support

The trees as shipped come with /usr/etc, which should just be labeled
as usr_t.  When we do a deployment, we need to relabel the copies of
the files we're making in /etc.

SELinux support is compile and runtime optional.

repo: Add API to provide xattrs

This will be used by rpm-ostree to provide SELinux security contexts,
without requiring us to actually label the disk.

build: Look for /usr/bin/gpgv2 vs /usr/bin/gpgv

For some reason, RHEL has gpgv, but Fedora doesn't.  We need to detect
which to use, since presumably Debian only has gpgv.

repo: Improve GPG error messages

The signing test is failing here on EL7 beta for me - it seems like
gnupg isn't honoring the homedir.

libostree: Actually trusted.gpg.d/*.gpg for GPG verification

The intent of this code I'm fairly certain was to use *.gpg from the
trusted.gpg.d, directory.  But right now, we're only using
"pubring.gpg" from that directory, which is odd.

Let's fix this to use all keys ending in .gpg, which will also
include pubring.gpg.

build: Install README-gpg in /usr/share/ostree/trusted.gpg.d

Since this is what the current code actually reads.

ostree-prepare-root.service: Also order before plymouth-switch-root.service

In the OSTree model, /sysroot gets set up twice.  We need to ensure
that the /sysroot plymouth sees is only after OSTree has set it up.

boot/ostree-remount.service: Run before plymouth-read-write.service

The plymouth service needs a writable /var, so ensure that we run
before it does.

doc: Update manpage a bit

I know, I know, it's about time...

Release 2014.1

pull: Be less chatty with G_MESSAGES_DEBUG=all

Only note state *transitions*, don't spam on simple checks.

TODO: Update

tests: Only install test-corruption if gjs is found

It now uses a gjs-based helper.

pull: Add remotename:ref syntax

This is really the common case.

README: Just link to wiki, move most of it to README-historical.md

repo: Document ostree_repo_sign_commit(), and add introspection data

The important bit for introspection is (allow-none) on the homedir.

pull: Close another race

Only send _IDLE messages if and only if we state transition the main
thread (from idle -> !idle or !idle -> idle).  This ensures that we
don't send IDLE, then get it back, and process that when we're !idle.

pull: Hopefully squash race where we would exit early

This is a redesign (again) of the pull code.  It is simpler and
survives 20 minutes of testing in a loop, whereas the old code would
only go from 30 seconds to 2 minutes.

The problem with the old code was that there was a race where we might
determine idle state even when there are content requests in flight
between the metadata thread and the main one.

This code majorly reworks things - there's now only one IDLE message,
sent in a circle from the main thread, through the metadata scanner,
and back to the main one.

Crucially it's only sent when the *main* thread is idle.  Previously
we were looking at whether the metadata scanner is idle, but that
doesn't make a lot of sense.  First let's make sure the main thread is
idle, then verify that the metadata one is.

This closes the loop because we'll have ensured we get any pending
requests.

https://bugzilla.gnome.org/show_bug.cgi?id=706456

tests/pull-corruption: Ensure we corrupt an object to be pulled

This test had some nondeterminism because we chose a random
object to corrupt, but because there were multiple commits, it
was possible that we chose an object that was not being pulled.

Fix this by writing some custom GJS code to find an explicitly random
object that exists in a given ref, an change a random byte offset.
This adds a lot more randomness to the testing too.

libostree: Ensure we set standard::type when querying files

This makes the obvious code to recursively enumerate directories
operate more sanely.

Noticed this while trying to write corrupt-repo-ref.js.

pull: Add a few more g_debug() and assertions

To help track down the race condition better.

tests: Small tweaks to pull corruption test

This one is failing here, I suspect it's the generic pull race
condition, but these fixes should make it slightly more reliable.

Update .gitignore

deploy/main: Unify some bits between admin-switch and admin-upgrade

test-sysroot: Update for API change

admin/switch: New builtin to switch between trees

This is something I want to make easier, as it better showcases the
flexibility of OSTree.

Squash some harmless compiler warnings

None of these AFAICS actually can occur, but let's silence gcc.

libotutil: Fix a possible uninitialized free() in error path

Spotted by gcc.

packaging: Update infrastructure

The Makefile.dist-packaging lives canonically in rpm-ostree/ for now,
it's my latest hack to automate git -> (s)rpm.

Update the spec.in from current Fedora.

commit: Reject non-regular/non-symlinks earlier with better error message

Also avoid _NOT_SUPPORTED as that triggers the --help behavior from
the commandline; just use _FAILED.

https://bugzilla.gnome.org/show_bug.cgi?id=722410

deploy: Rework kernel arguments, add --karg-append to "admin deploy"

The "ordered hash" code was really just for kernel arguments.  And it
turns out it needs to be a multihash (for e.g. multiple console=
arguments).

So turn the OstreeOrderedHash into OstreeKernelArgs, and move the bits
to split key=value and such into there.

Now we're not making this public API yet - the public OstreeSysroot
just takes char **kargs.  To facilitate code reuse between ostree/ and
libostree/, make it a noinst libtool library.  It'll be duplicated in
the binary and library, but that's OK for now.  We can investigate
making OstreeKernelArgs public later.

https://bugzilla.gnome.org/show_bug.cgi?id=721136

COPYING: Update to latest FSF with current address

Hooray for rpmlint.

Unify uboot and syslinux test cases

The test-admin-deploy-1 was copied into -uboot at some point.  But
really they should be testing exactly the same thing, except for
the bootloader backend.

Unify these tests by extracting a common test core.

Update libgsystem

This has a GsConsole fix.

admin: Add --karg-proc-cmdline argument

When installing a new tree inside an existing OS, this is a convenient
way to include the command line arguments one needs (such as root=).

deploy: Write bootloader config even if just kernel arguments changed

The official way to add bootloader arguments to the current deployment
is to redeploy with --karg.  However, doing so tripped up an
optimization made inside the deployment code to just swap the
bootlinks if we're keeping the same "bootcsum".

Change this optimization to look at the pair of (bootcsum, options).

build: Don't use += for ACLOCAL_AMFLAGS

It confuses the autotools.